iT邦幫忙

2023 iThome 鐵人賽

DAY 26
0

前情提要:Metadata 詮釋資料 (分離資料儲存與資料取用)

DAMA International(國際資料管理協會)的 DAMA 的 DMBoK ,資料治理十大知識領域中有兩個進階 Data Management(資料管理)項目:

  1. Master Data Management(主資料管理)
  2. Metadata Management(詮釋資料管理)

如果要分次序來做,詮釋資料管理肯定是優先且關鍵項目,因為詮釋資料管理跟以下其他知識領域有相依性:

  1. 資料架構:因「企業資料架構」係識別企業資料需求,設計企業整體資料藍圖,以控制資料整合與資料資產,對應企業商業戰略。資料資產管理通常必須借助跨系統的詮釋資料才能達成。
  2. 資料建模和設計:必須仰賴詮釋資料進行分析與設計。
  3. 資料整合和交互操作:資料整合就是傳統 ETL 的擴大,必須仰賴詮釋資料歸檔或再處理。
  4. 資料倉儲和商務智慧:參見 2.資料建模。
  5. 資料品質管理:必須仰賴詮釋資料區分個別 Data Verification 資料確認作業。

用 Apache Iceberg 強化詮釋資料管理,建置與運帷企業資料目錄

Data Catalog(資料目錄)就是用 Metadata Management Tool(詮釋資料管理工具)實作出來的。

我們在談論資料湖倉時,跟各位介紹過 Apache Iceberg,它讓資料湖泊進化了。就是這一篇:
Data Lakehouse (資料湖倉),順便淺談 Apache Iceberg

通過 Apache Iceberg 連結各種儲存有 Metadata 的系統,覆蓋整個企業,提供更可靠的資料目錄、資料模型迭代和簡化資料探索。

Passive Metadata Management 已死,資料驅動需要 Active Metadata Management

Gartner 向來是 Buzzword 創造者,這就是一例。

2021 年 Gartner 把 Magic Quadrant for Metadata Management Solutions 更名為 Market Guide for Active Metadata。因為 Gartner 認為被動式詮釋資料管理對企業的價值有限,需要主動式詮釋資料管理以確保使用者獲取在線最新、智能化與行動導向的資料服務與治理保證。
https://ithelp.ithome.com.tw/upload/images/20230929/201617900OLmJwBWHH.png

圖片來源:https://www.alation.com/blog/active-metadata/

被動式詮釋資料管理 vs. 主動式詮釋資料管理

  • 被動式詮釋資料管理:企業資料之海的地圖
  • 主動式詮釋資料管理:企業資料之海的 GPS

根據我們團隊的研究與經驗,要做到主動式詮釋資料管理,需要線上 Metadata 的實時偵測與變更流程整合。
https://ithelp.ithome.com.tw/upload/images/20230929/20161790V0ATT66KG0.png
圖片來源:https://atlan.com/gartner-active-metadata-management/

Gartner 指出 2026 年會暴增 30% 主動式詮釋資料管理工具需求

大家可以先參考 Gartner 評比各家 Active Metadata Management Tool(詮釋資料管理工具) 。
https://www.gartner.com/reviews/market/active-metadata-management


上一篇
Data Catalog(資料目錄,資料治理最平順的起手式)
下一篇
Master Data Management (主資料管理究竟是仙丹還是毒藥?)
系列文
吵什麼 AI 煉金術?!你家有礦嗎?(資料領域必知的 30 個詞彙)30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言